EmbeddingGemma 2：统一高效多模态表征模型
🧭 多模态统一 embedding · 蒸馏与对比学习 ★ 深度解读
Google DeepMind · Google
744M 多模态 embedding 模型，以多阶段课程训练在文本/视觉/音频基准上达到新 Pareto 前沿，支持量化与截断部署
📌 工作参考价值（4 点）
- 统一商品多模态表示：图/文/视频/音频 natively 编码，适合电商搜索/推荐中的跨模态召回（如图搜商品、视频理解），避免先 ASR/OCR 再文本 embedding 的管线损失。
- 训练 recipe：先纯文本预微调（蒸馏）再多模态预微调（蒸馏），最后用对比 + spread-out + MRL 微调；加入 same-tower negatives 和 Plackett-Luce listwise loss，有利于排序/检索任务。
- 工程部署：用可调 vision token budget（70-1120）和 MRL 截断维度（768/512/256/128）做资源-质量 trade-off；QAT 后 int4 量化在手机上 <600MB，可在端侧实时出 embedding。
- 消融结论：多模态任务上 trainable vision encoder 比 frozen 大幅提升（MMEB-v2 52.27 vs 48.18）；native audio 比 ASR 提升 MSEB 69.54 vs 57.59，建议直接编码原始音频而非转写。
混合模态检索中的模态偏好与 Trident 去偏训练
🧭 多模态检索 · 模态偏好纠偏
University of the Chinese Academy of Sciences · Northeastern University · Tsinghua University · Nanjing University
发现文本高分偏置导致无关文本压制相关图像，提出多正视角 Trident 联合优化相关性判别与视角平衡，提升混合模态检索鲁棒性
📌 工作参考价值（3 点）
- 电商/广告多模态商品库常混有文本和图片，可用「文本/图像/融合视图」构造等权正样本，采用 Multi-Positive View InfoNCE 抑制文本高分偏置，避免无关文本商品挤掉相关图片商品。
- 上线前应做模态组成消融：当图片文档被语义对应文本逐步替换时若出现 V 型曲线，说明模型对混合模态敏感；需重点增加文本对抗负例或平衡文本相似度尺度。
- 对图片文档补充语义等同的文本视图，并把 fused text-image 作为协同正样本训练，能同时提升混合模态与单模态平均检索，适合复用到多模态 RAG/搜索召回或精排。
CAMIE：面向 Snap 动态商品广告检索的协同参与多模态商品嵌入
🧭 多模态商品嵌入 · 协同参与对比学习召回 ★ 深度解读
Snap Inc.
用用户旅程中的共同参与对微调 LLM/MLLM 骨干，得到统一多模态商品嵌入并上线 Snap DPA
📌 工作参考价值（4 点）
- 用共同参与 pair 替代内容相似度监督：在电商/广告 I2I 召回中，从用户 Session 或归因窗口挖掘共现商品对（view/click/加购/购买均可），用对称 in-batch InfoNCE 微调商品编码器，比单纯内容相似度更贴近转化目标。业界常纠结“只保留高意图事件”，但该文证明：全漏斗事件带来的训练规模增益（+8.9% R@10）大于只保留加购/购买的事件纯度增益（+1.6%），可优先保规模。
- 一个 checkpoint 服务多模态 / 纯文本 / 纯图片三种召回面：通过 renderer 控制字段（image/title/brand/description/category），同一个 MLLM 骨干能同时支持多模态和文本检索。在 Snap 场景文本-only 仅比专用文本微调差 1.1pp R@10，可直接替换独立文本编码器；但纯图片 serving 明显弱于专门视觉塔，电商图像替代类召回建议保留专用 image encoder。
- 行为监督的增益大于骨干升级：对照实验表明，在相同的 co-engagement pair、目标函数、负样本、LoRA 设置下，SigLIP2 和 CLIP 双塔也能达到接近 CAMIE 的召回水平，说明业务里如果已有轻量双塔，优先把训练信号换成共同参与 pair，比急着换 LLM 骨干收益更稳；MLLM 的增量主要在文本侧和训练 headroom。
- 工程部署可复用：离线用 512 维 embedding，线上截取前 128 维匹配现有 ANN 索引，控制索引成本；对百万级商品目录用 10M 训练对即可达到较好效果，训练规模扩展到 100M 对进一步提升，适合电商场景逐步扩量。
区域约束批采样：消除本地社区平台对比用户建模中的不可能负样本
🧭 对比学习 · 区域约束负采样 ★ 深度解读
Danggeun Market Inc. (Karrot)
提出区域约束批采样(RCBS)，通过构造区域同质mini-batch将地理不可能负样本替换为可行负样本，提升用户表征质量与下游推荐效果
📌 工作参考价值（4 点）
- 地域受限业务的负采样策略：外卖、本地生活、社区电商等有曝光半径的场景可直接借鉴，按配送区域或商圈组织batch，减少因配送范围外导致的无效负样本，让模型专注真实可曝光物品的对比。
- 零模型改动的经验性trick：仅改变数据加载时的shuffle逻辑，不改模型结构与loss，工程落地成本极低；可按粗/细粒度区域分组逐步降低不可能负样本比例（如从0.98→0.30），观察到Recall稳定提升。
- 负样本难度信号的隐性引入：RCBS使batch内天然充满“可行但未交互”的负样本，这种harder negative能提供更强训练信号，尤其适合两塔模型直接迁移。
- 与倾向性加权的互补：若存在进一步曝光偏差，可在区域batch内叠加IPS等倾向性修正，先行用RCBS去掉曝光概率为0的样本，再对剩余样本做概率加权，实用且易扩展。
SHIFT：自重建利用隐式细粒度思考进行检索
🧭 隐式推理检索器 · 细粒度自重建
Peking University · Institute of Computing Technology, Chinese Academy of Sciences · Beihang University
用细粒度自重建缓解对比学习与隐式推理的目标错配，提升推理密集型检索性能
📌 工作参考价值（4 点）
- 隐式推理检索可直接用于电商搜索/推荐召回：在双塔模型里插入少量软 token 做隐式查询理解，替代显式改写，既保留推理能力又降低在线延迟。
- 细粒度 NTP 重建可作为对比学习的有效正则：在训练检索器时加入 next-token-prediction 重建 query 或 item 文本，能缓解对比目标与生成能力之间的冲突，提升表征的语义对齐度，适合复杂意图的查询-商品匹配。
- 残差投影与双向注意力的适配方案：将 LLM 转换为检索器时，用残差投影层和按任务定制的双向注意力聚合，可稳定保留预训练语义知识，这为利用大模型做召回模型提供了一套轻量、稳定的改造范式。
- 对 Agent 中检索工具的优化意义：若 Agent 需要调用多跳推理检索，可微调一个隐式推理检索器，在低延迟下实现接近显式推理的效果，适合实时决策场景。
自然图像对比学习理论：最优表征的正弦基与白化
🧭 对比学习理论 · 正弦基与白化
CSAIL, MIT · School of Computer Science and Engineering, Hebrew University of Jerusalem
证明对比学习最优表征为傅里叶正弦基加部分白化，可用注水算法解析计算
📌 工作参考价值（4 点）
- 推荐系统中常用对比学习训练用户/物品表征，该理论揭示增强变换与最优表征结构的关系，可指导如何设计更适合协同过滤的增强（例如，图像增强等价于频率域的选择性加权，可类比到序列推荐中的 mask 或裁剪策略）
- 部分白化作为对比学习隐含的最终投影层，可显式引入到推荐模型的输出层，提升特征的解耦性与判别性，替换简单的 L2 归一化
- 注水算法直接根据数据功率谱计算最优滤波器权重，该思想可迁移到特征交互建模中，自适应地分配不同频率或阶次交互的权重
- 虽然对象是视觉，但结论“第一层学习正弦波”暗示对比学习倾向于发现频域结构，这一点可用于解释推荐模型中 Embedding 在对比训练下的收敛特性，辅助排查训练不稳定问题
ARMOR：低资源电信问答的自适应检索器优化
🧭 检索增强生成 · 自适应检索器优化
Rensselaer Polytechnic Institute · Cornell University · Samsung Research America
冻结生成器，仅微调查询编码器，联合 RAG 似然与 InfoNCE 并学习各自温度，提升低资源 RAG 效果
📌 工作参考价值（4 点）
- 低资源检索适配策略：当类目冷启或新业务标注稀疏时，可冻结下游生成/推荐模型，仅微调查询编码器，避免生成模型过拟合并保持通用能力，适合电商搜索中的长尾 query 优化。
- 多目标联合训练与可学温度：将 RAG 生成质量信号（如点击/转化）与 InfoNCE 对比损失结合，为两个 softmax 分布分别学习温度参数，自动调节分布尖锐度，可迁移到推荐系统中平衡语义相关性与业务指标。
- 正则化防遗忘：微调查询编码器时加入与冻结基编码器的距离正则化，类似持续学习，适合在电商搜索中持续引入新知识而不破坏已有检索能力。
- 温度分离控制：在检索和对比学习中采用独立的可学温度，可解决电商搜索不同场景（导航 query vs 宽泛 query）对检索精细度的不同需求。
秩感知双曲对齐的视觉语言数据集蒸馏
🧭 多模态数据集蒸馏 · 双曲对齐与低秩控制
Korea Advanced Institute of Science and Technology (KAIST) · Electronics and Telecommunications Research Institute (ETRI)
在双曲空间中对齐低秩共享语义并正则化残差子空间，提升多模态蒸馏的检索与迁移鲁棒性
📌 工作参考价值（4 点）
- 电商图文推荐的数据压缩：商品图与描述常呈低秩关联，RAHA 的双曲共享范围对齐与残差正则化可分离核心语义与噪声，用于构建紧凑的蒸馏训练集，降低训练成本。
- 多模态对齐中的鲁棒性提升：非对称测地线目标可避免强制全维对齐造成的过约束，适合图文匹配任务（如搜索广告素材优选）中对模态私有特征的保留。
- 联邦学习或隐私受限场景：借鉴蒸馏思想，用少量合成的代表点替代原始数据参与分布式训练，RAHA 的秩感知控制可保证下游模型泛化。
- 主要适用学术研究，业务迁移需额外适配双曲网络层与矩阵分解的工程实现，短期收益待验证。
RGCD-Rep：推理引导的跨域表征学习，连接短视频与直播推荐
🧭 跨域推荐 · 多模态蒸馏 · 可迁移表征学习 ★ 深度解读
Kuaishou Technology, Beijing, China
首次将多模态大模型推理蒸馏到轻量模型，学习行为协同的跨域可迁移 item 表征，部署到快手直播推荐系统
📌 工作参考价值（4 点）
- 用行为对构造跨域蒸馏数据：从用户日志构建 (短视频, 直播) pair 并量化行为共现强度，作为监督信号。电商场景可直接套用，用 “点击-加购” 或 “浏览-转化” 行为对，将源域兴趣迁移到目标域。
- 大模型推理结果结构化：教师 MLLM 的输出不只是自由文本，而是分解为「垂直领域、关键主体、内容主题」三个维度的标签和匹配判断。在电商中，可将商品属性（品类、功能、场景）结构化，用于引导跨域匹配，避免噪声。
- Chorus Tokens + 可迁移/残差分离：用少量可学习 token（16个）聚合多模态信息，再用可学习 Query 向量拆出可迁移和残差部分。这种轻量设计适合离线生成 item embedding 并直接供检索使用，低延迟部署友好。
- 路由损失解决负迁移：对高可信 pair 鼓励用可迁移空间匹配，低可信 pair 用残差空间吸收噪声，缓解跨域不一致。在电商多域（如搜索、推荐、内容）统一表示时，可借鉴这种“软路由”机制，避免强行对齐带来的性能损失。
打破信息孤岛：基于语义画像的跨域推荐
🧭 跨域推荐 · 基于语义画像的知识迁移 ★ 深度解读
Tel Aviv University · Temple University
通过LLM诱导共享行为特征并生成语义画像，实现无共享用户/物品的跨域知识迁移
📌 工作参考价值（4 点）
- 用户画像构建新思路：利用LLM从交互历史中诱导领域无关的行为特征（如刺激寻求、控制感、冲突容忍），生成结构化语义画像，可用于电商跨场景（购物→内容）的用户理解，避免固定标签的僵硬。
- 跨平台冷启动方案：通过目标用户画像在源域用户画像空间进行语义检索，聚合Top-K相似邻居构成社区源画像（CSP），为无任何重叠的用户提供偏好信号。可直接迁移到跨平台推荐或新用户冷启动场景。
- 双塔融合与动态门控：协同过滤塔和语义塔以残差方式融合，门控权重α用tanh激活（允许负值，能抑制无关语义）。当目标域用户交互稀疏时，模型自动增强语义塔贡献，对推荐系统稀疏场景增强很有参考价值。
- 跨域迁移策略选择：论文发现迁移效果主要取决于目标域的结构密度而非语义接近度，提示我们在选择跨域知识源时，应优先评估目标域自身的协同信号强度，而非简单追求领域相似性。
DIVE：通过自限制梯度更新实现嵌入压缩
🧭 嵌入压缩 · 自限制梯度更新
University of Washington Tacoma
通过自限制 hinge triplet 损失和多头对比学习，在小样本下稳定压缩高维嵌入，全面超越现有适配器
📌 工作参考价值（4 点）
- 小样本场景下微调嵌入压缩模型常过拟合，可借鉴自限制 hinge triplet loss：一旦 triplet 满足 margin 约束即停止梯度，安全地限制对预训练空间的扰动，稳定训练过程。
- 利用多头投影构造隐式视角，对每个嵌入计算 NT-Xent 对比损失，为稀疏的 triplet 信号提供密集的自监督梯度。在推荐系统标注数据稀少时，此技巧能显著提升压缩表示质量。
- 采用轻量 residual adapter 实现维度压缩（仅 14M 参数），无需改动预训练 LLM 骨干，可直接嵌入线上向量检索链路，降低存储与计算成本。
- 在电商搜索或推荐中，当需要将高维商品/用户 embedding 压缩以加速检索时，DIVE 的损失设计可作为微调范式，避免压缩比例增大时性能断崖下跌。